GUI操作で効率的にデータパイプラインを構築!! Application Integration を解説

Application Integrationは、直感的なGUIを通じて複雑なデータ統合フローを効率的に構築・管理できるノーコード/ローコードのマネージドサービスで、運用負荷を軽減しつつ、組織全体のデータ活用を促進することが可能です。

#Google Cloud (GCP)

#データパイプライン

#データ分析

#データ移行

室井靖成

2024.10.31

 Application IntegrationとはApplication Integrationとはノーコード/ローコードでデータパイプラインを構築できるGoogle Cloudのサービスになります。Google Cloudでデータパイプラインを構築する代表格としては、Cloud Pub/SubやCloud Dataflowですが、コードを記述し構築したとしても、そのランタイムやインフラ部分の保守運用が必要になります。
今回ご紹介するApplication IntegrationはGoogle Cloudのマネージドサービス（インフラの管理不要）のため、管理コストやコード知識の負担が軽減されます。
マネージドサービスは便利な反面、リソース自体を利用するコストが高い可能性がありますので注意が必要です。（個人的にはApplication Integrationは事項で紹介するコネクタの料金が高いイメージがあります）
 コネクタを使用するあらかじめGoogle Cloudで用意されているコネクタを利用することで、データの連携が容易に行えます。

コネクタの種類として連携するサービス側とGoogle Cloud側へ連携するコネクタの2つが存在します。
よって、Application Integration自体の実行回数とコネクタの料金を考えてコストを試算する必要があります。
 3rdパティのサービスと連携する例えば、AmazonのストレージサービスであるS3とGoogle Cloud のCloud Storage（GCS）をApplication Integrationで繋ぐ場合、S3専用のコネクタとGCS専用のコネクタを利用する必要があります。
そして、その連携したデータをさらにGoogle Cloud側のCloud SQLに連携する場合にもCloud SQL専用のコネクタが必要になります。（GCSはバックアップ用、Cloud SQLはアプリケーション用など）
 実際の操作ここからは、実際にCloud コンソールでApplication Integrationを簡単に操作してみます。
 統合の作成まずは1つのパイプラインとなる統合を作成していきます。

統合が作成されると、GUIでパイプラインを作成できるキャンパスがを操作できるようになります。

TriggerからAPI トリガーを選択して、キャンパスにドロップインしてみます。

API トリガーは、統合フローを開始するための外部からのエントリーポイントになります。
次に変数の追加していきます。

変数は統合フロー内でデータを保持し、異なるステップ間でデータを受け渡すために使用されます。

この変数は、統合プロセスへの入力として機能するJSONデータを定義しています。具体的には、"input"という名前で、注文IDを含むJSONペイロード（例：{"order_id": 10000}）を受け取るように設定されています。
次にタスクでConnectorsを検索して、追加していきます。

タスクは統合フロー内の個別の機能や操作を表すもので、例えば、データの読み取り、変換、保存などの特定のアクションを実行します。

作成したタスクをクリックし、データ マッピングをドロップインします。それを押下し、名称をSave Internet Order to DBに変更し、Configure Connectorで構成の設定を行います。

以下のように3つのステップの設定を行います。

us-east1リージョンのCloudSQL MySQL データベースに接続し、internet_ordersというテーブル（エンティティ）を対象に新しい注文レコードを作成（Create 操作）しています。

次にタスクでData Mappingを検索して、追加していきます。名称もMap Inputに変更して、エディタを開きます。

エディターを開くとデータマッピングとフロー構築に関する設定が行えます。

具体的には「API Triggerから受け取ったデータ→データベース（Orders DB）に保存する形式に変換」

つまり、入力（Input）から出力（Output）へのデータの流れを定義しています。

次に、作成した統合をPublishしていきます。これは設定した統合フローを実際に稼働させるためのステップとなります。Publishすることで、APIトリガーからデータベースへの保存までの一連の処理が自動化され、実環境で利用可能になります。

 テスト統合次に統合のテストを行うためにTESTをクリックし {"order_id": 10000}の文字列を入力していきます

すると、以下のようにテスト統合のログを見ることができます。

 まとめこのようにApplication Integrationは、Google Cloudが提供するノーコード/ローコードのデータパイプライン構築サービスです。マネージドサービスとして、インフラ管理の負担を軽減しつつ、直感的なGUIを通じて複雑な統合フローを作成できます。
事前定義されたコネクタを活用することで、様々なサービス間のデータ連携が容易になりますが、コストについては慎重に検討する必要があります。統合の作成から変数設定、タスク追加、データマッピングまで、視覚的に操作できるため、開発効率が向上します。
設定完了後はPublish機能で実環境に展開し、テスト機能を使って動作確認を行うことができます。Application Integrationを利用することで運用負荷を抑えつつ、操作性のあるGUIで効率的にデータ統合フローを構築・管理できます。これにより、技術的な複雑さを軽減しながら、組織全体のデータ活用を促進することが可能となります。